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(57) Abstract 

The invention relates to a method 
for distributing a load in a real time 
multiprocessor system and to a corre- 
sponding multiprocessor system. A dis- 
tribute quota establishing the proportion 
of the distributable load to actually be 
distributed is determined on each pro- 
cessor. This distribute quota is redeter- 
mined at intervals. The only information 
which is required by the processors for 
each interval of time are load value in- 
dicators, which depend on an estimated 
load. Probabilities indicating how the 
load is transferred from one processor 
to the others during the load distribu- 
tion are also determined. Each proces- 
sor then distributes its distributable load 
when its distribute quota exceeds a pre- 
determined value, in accordance with 
said distribute quota and its load distri- 
bution factors. 
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(57) Zusammenfassung 

...f i J? 6 ? rfindun8 t* 1 "™ «n Verfahren zur Lastverteilung in einem Realzeit-Multiprozessorsystem und ein Multiprozessorsystem wobei 
vIJ^n m J T ° Ze T VertC1 ? U ° te gef ° hlt Wifdl diC den Anteil der vcrteilbare " La ^, der tateachlich verteilt werden soil, CTSfc 
wfrd^d iTZZiZ^T*™*" ^ . bestimm K Die « ^formation, die jedes Zeitintervall von den anderen Prozessoren benotigt 
w rd s nd Lastwertmdikatoren, die von einer geschatzten Last abhangen. Zusatzlich werden Wahrscheinlichkeiten gefiihrt, welche angeben 
7cr^a^uT^l}f S \ V Z C ! nem f? andere " Pr0 f! S S °? n flbema 8 en wird ' Anschliessend verteilt jeder Prozessor anhand se^ 
W^fiteB h t T Laslverteilun g sf ^toren seine verte.lbare Last an andere Prozessoren, wenn seine Verteilquote einen vorgegebenen 
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Beschreibung 

Lastverteilungsverf ahren eines Multiprozessorsystems und 
Multiprozessor system 

5 

Die Erfindung betrifft ein Verfahren zur Las tvertei lung in 
einera Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kommunikationssys terns, bei dem 
anfallende Aufgaben von mehreren Prozessoren MPi (mit 
10 i=l , 2 n) unter Realzeitbedingungen abgearbeitet werden 
konnen und ein Multiprozessorsystem, insbesondere eines 
Kommunikationssystems , mit einem Lastverteilungsmechanismus . 

Ein ahnliches Verfahren zur Lastverteilung in einem 

15 Multiprozessorsystem, insbesondere in einem 

Multiprozessorsystem eines Kommunikationssystems, ist 
beispielsweise aus der Europaischen Patentanmeldung EP 0 645 
702 Al der Anmelderin bekannt . Diese Schrift offenbart ein 
Verfahren zum Lastenausgleich in einem Multiprozessorsystem, 

20 insbesondere ein Multiprozessorsystem eines 

Kommunikationssystems, bei dem anfallende Aufgaben von 
mehreren Prozessoren unter Realzeitbedingungen abgearbeitet 
werden konnen, wobei zur Durchfuhrung des Lastausgleiches 
allgemein die folgenden Verf ahrensschritte genannt sind: 

25 - jeder Prozessor ermittelt seinen Lastzustand in Form einer 
quantif izierten GroBe, 

- jedem Prozessor werden die Lastzus tande der anderen 
Prozessoren innerhalb eines Zeitrasters mitgeteilt, 

- jeder Prozessor gibt in Abhangigkeit vom Uberschreiten 
30 einer bestimmten GroJie seines Lastzustandes und in 

Abhangigkeit von den Lastzustanden der ubrigen Prozessoren 
zumindest einen Teil der bei ihm anfallenden Aufgaben an die 
ubrigen Prozessoren ab, und 
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- die abgegebenen Aufgaben werden entsprechend den 
Lastzustanden der ubrigen Prozessoren auf diese aufgeteilt. 

Im Ausfiihrungsbeispiel wird das Verfahren dahingehend 
konkretisiert, dali im Betrieb standig und vor dem Einstieg in 
die Lastverteilung, die hier erst ab dem Erreichen einer 
bestimmten Uberlast beginnt, Verteilungsquoten errechnet 
werden, nach denen die einzelnen Prozessoren im Fall der 
Uberlast an andere Prozessoren ihre verteilbare Last abgeben. 
1st das System dauerhaft ungleichiaaflig ausgelastet, so wird 
die Last erst bei Uberlast eines oder mehrerer Prozessoren 
verteilt. Damit geht aber unnotige Lastabwehr einher. Die 
Reduktion der Uberlastschwelle auf einen niedrigeren Wert 
fuhrt zu keinem bef riedigenden Ergebnis, weil dann unnotig 
viel Last verteilt wird und es zu Schwingungszustanden kommen 
kann. Diese Situation ergibt sich aus der dort getroffenen 
Annahme, dafl die Uberlast oder die ungleichmaflige Belastung 
von kurzer Dauer ist. 

Es ist daher Aufgabe der Erfindung, ein verbessertes 
Lastverteilungsverfahren fur ein Multiprozessorsystem 
anzugeben, welches rechtzeitig und "weich" einsetzt und 
dadurch dauerhafte Schief lastzustande im Lastangebot ohne 
Lastabwehr bewaltigt. Auflerdem soil auch ein entsprechendes 
Multiprozessorsystem angegeben werden. 

Die Aufgabe wird einerseits durch ein Verfahren mit den 
Verfahrensschritten des ersten Verfahrensanspruches und 
andererseits durch ein Multiprozessorsystem mit den Merkmalen 
des ersten Vorrichtungsanspruches gelost. 

Demgemafi schlagen die Erfinder ein Verfahren zur 
Lastverteilung in einem Multiprozessorsystem, insbesondere in 
einem Multiprozessorsystem eines Kommunikationssys terns, bei 
dem anfallende Aufgaben von mehreren Prozessoren MPi (mit 
i=l, 2, . . . . ,n) unter Realzeitbedingungen abgearbeitet werden 
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konnen, mit folgenden iterativen unci sich in Zeitintervallen 
CI wiederholenden Ver f ahrensschritten vor: 

jeder Prozessor MPi ermittelt seinen tatsachlichen 
Lastzustand Yi - bestimmt gegebenenf alls direkt hieraus 
5 einen mehrwertigen Laststatus (load state) MPlSj - und 

schatzt in Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten qi(alt) (mit qi=an andere Prozessoren 
MP k nach Moglichkeit zu verteilender Lastanteil) und 
dem typischerweise verteilbaren Anteil V einer typischen 
10 Aufgabe seine angebotene Last A if die zu einem 

mehrwertigen Lastindikationswert (Balancing Indicator) 
MPbii fuhrt, 

jeder Prozessor MPi teilt seinen Lastindikationswert 
MPbii den jeweils anderen Prozessoren MP k (mit 

15 k=l, 2, . . . i-1, i+1/ . . .n) mittelbar oder unmittelbar mit, 

jeder Prozessor MPi bestimmt seine 
Lastverteilungsf aktoren p±j (mit j=l,2,....n) in 
Abhangigkeit von den Lastindikationswerten MPbik dieser 
anderen Prozessoren MP kl 

20 - jeder Prozessor MPi bestimmt seine Verteilungsquote 
qi (neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Y ± und den Lastverteilungsf aktoren p i:j 
jeder Prozessor MPi verteilt anhand seiner Quote q A und 
seiner Lastverteilungs f aktoren Pij seine verteilbare 

25 Last an andere Prozessoren MP k/ wenn seine 

Verteilungsquote qi (neu) einen vorgegebenen Wert q v 
uberschreitet . 

Zur Abschatzung der angebotenen Last Ai eines Prozessors MPi 
30 ist es vorteilhaft, die Formel Ai : =Yi/ ( 1-qiV) zu verwenden. 



Vorteilhaft ist auch eine Unterteilung des mehrwertigen 
Lastindikationswertes (balancing indicator) MPbii in drei 
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diskrete Werte, wobei vorzugsweise die folgende Abgrenzung 
mit Schwellenwerten gilt: NORMAL fur MPbii, wenn die 
Prozessorauslastung 0 bis 70% betragt, HIGH fur MPbii, wenn 
die Prozessorauslastung 70% bis 85% betragt, und OVERLOAD fur 
MPbii, wenn die Prozessorauslastung uber 85% betragt. 

Vorteilhaft ist es auch, wenn eine Hysterese bei 
Lastzustandswechsel aufgrund von Schwellenwertiiberschreitung 
oder Schwellenwertunterschreitung bei steigender oder 
fallender Prozessorauslastung eingefuhrt wird. 

Auiierdem kann es vorteilhaft sein, wenn der 
Lastindikationswert (balancing indicator) MPbii bezuglich 
Anderungen einer zeitlichen Hysterese unterliegt und damit 
eine gewisse Tragheit erfahrt. Als Hysteresegrenze konnen 
vorteilhaft Werte von 1 bis 2 Zeitintervallen CI angenommen 
werden . 

Bezuglich des mehrwertigen Laststatus (load state) MPlSi wird 
als besonders bevorzugt die Annahme von vier diskreten Werten 
vorgeschlagen, wobei vorzugsweise angenommen wird: NORMAL fur 
MPlsi, wenn die Prozessorauslastung unter 70% liegt, HIGH fiir 
MPlsi, wenn die Prozessorauslastung 70% bis 85%, OVERLOAD fur 
MPlsi, wenn die Prozessorauslastung uber 85% liegt und 
EXTREME fiir MPlsi, wenn dauerhaft der Lastzustand OVERLOAD 
vorherrscht. Auch hier kann es vorteilhaft sein, wenn der 
Laststatus (load state) MPlsi bezuglich Anderungen einer 
Hysterese unterliegt. Als Hysteresegrenze konnen vorteilhaft 
Werte von 1 bis 2 Zeitintervallen CI angenommen werden. 

Weitere vorteilhafte Annahmen bei der Durchfiihrung des 

erf indungsgemafien Verfahrens sind: der typische verteilbare 

Anteil V einer typischen Aufgabe soil der durchschnittliche 
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10 



15 



20 



25 



oder maximale Anteil sein und als typische Bearbeitungszeit 
einer Aufgabe soil eine durchschnittliche oder maximale 
Bearbeitungszeit einer Aufgabe angenommen werden. 
Vorteilhaft kann hierbei der jeweilige Durchschnittswert oder 
Maximalwert eines Anteils beziehungsweise einer Aufgabe auch 
wahrend der Betriebszeit standig ermittelt und gegebenenf alls 
als gleitender Wert mitgefiihrt und aktualisiert in das 
Lastverteilungsverf ahren ubernommen werden. Gunstig ist es 
hierbei, wenn die Zeitdauer, iiber die die gleitenden Werte 
ermittelt werden, groB gegenuber dem Kontrollintervall CI 
ist. 

Besonders vorteilhaft ist es auch, wenn fur den vorgegebenen 
Wert q v der Verteilungsquote qi, ab dem der Prozessor MPi 
verteilbare Last an andere Prozessoren MP k verteilt, gilt: 
0,05<q v <0,3, vorzugsweise 0,l<q v <0,25, vorzugsweise q v =0,2. 

Weiterhin kann das erf indungsgemafle Verfahren besonders 
vorteilhaft ausgestaltet werden, wenn bei der Berechnung der 
Verteilungsquote qi die folgenden Kriterien erftillt werden: 
Pn := 0 

falls MPbij einer mittlere Last entspricht, vorzugsweise 
MPb i j =N0RMAL , gilt: p i3 (neu) = pi j ( alt ) +p c i/n, fur 

j = l, . . . , n und i^j 

falls MPbij einer hohen Last entspricht, vorzugsweise 
MPbi j=HIGH gilt: pij (neu) = pi j ( alt ) -p C 2/n, fur j = l,...,n 
und i^j 

falls MPbij einer Oberlast entspricht, vorzugsweise 
MPbij=OVERLOAD, gilt: pij (neu) = 0 
- wobei vorzugsweise die pij (3-1,.., n > mit der Suirane p S um der 
pi-j auf 1 normiert wird und 



WO 00/43874 



PCT/EPOO/00317 



6 

als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle pij, ausgenommen p iif gleich 
sind . 

Als vorteilhafte Zahlenwerte konnen fiir die Konstante p cl 
0,l<p cl <0,5, vorzugsweise 0,2<p c i<0,3 und vorzugsweise p c : = 0, 2 
angenoinmen werden. Ebenso ist es vorteilhaft fiir die 
Konstante p c2 0,l<p c2 <0, 5, vorzugsweise 0,2<p c2 <0,3, 
vorzugsweise p c2 =0,25 zu setzen. Auch kann der 
Initialisierungswert der pij beim Beginn der 
Verteilungsprozesse gleich (n-1)" 1 gesetzt werden. 

Weiterhin kann das er f indungsgemafte Verfahren besonders 
vorteilhaft ausgestaltet werden, wenn bei der Berechnung der 
Lastindikationswerte MPbii die folgenden Kriterien erfullt 
werden : 

falls MPlSi der hochsten Last entspricht, vorzugsweise 
MP 1 s i =EX TREME , gilt: qi(neu)=q cl , 
falls p sum > 1 gilt: 

falls der tat sachliche Lastzustand Yi grolier als ein 
vorgegebener Wert threshold H ist, wird qi vergrbfiert mit 
qi=min{qi+c q i, 1}, 

falls der tatsachliche Lastzustand Yi kleiner als ein 
vorgegebene Wert threshold N ist, wird qi verkleinert mit 
qi=max { qi-c q2 , c q3 }, iait 0<c q3 <q v , vorzugsweise c q3 =0,l, 
andernfalls (threshold N < Yi < threshold H ) erhalt qi 
einen Zwischenwert zwischen den beiden oben genannten 
Alternatives vorzugsweise durch lineare Interpolation 
falls psum ^ 1 gilt: qi <neu)=qi (alt) * p sum . 

Zur optimalen Ausgestaltung des Verfahrens sind fur die 
Konstante c q i die folgenden Zahlenbereiche und -werte 
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bevorzugt: 0 , 05<c qi <0 , 3 , vorzugsweise 0,1< c qi <0,2, 
vorzugsweise c q i=0,15. Aufierdem kann fur die Konstante c q2 
vorzugsweise 0, 05< c q2 <0,2, vorzugsweise c q2 =0, 10 angenommen 
werden . 

5 

Bezuglich der Konstanten threshold N gilt als bevorzugter 
Wertebereich: 0, 6< threshold N <0,8, vorzugsweise threshold N 
= 0,7. 

10 Bezuglich der Konstanten threshold H gilt als bevorzugter 

Wertebereich: 0,7< threshold H <0,95, vorzugsweise threshold H 
=0, 85. 

Eine andere Ausgestaltung des er f indungsgemafien Verfahrens 
15 sieht vor, dafi zusatzlich in jedem Zeitintervall CI ein 

Oberlastwert OLi der Prozessoren MPi ermittelt wird, der ein 
Ma£ fur die Gro&e der Oberlast ist und als Mafistab zur 
Uberlastabwehr dient, mit OL i = 0 / l,...m , und die 
Verteilungsguote q± auf jeden Fall vergrofcert wird, falls 
20 OLi>0 mit qi (neu) : =min { qi (alt ) + c q i,l. 

Erf indungsgemaft besteht auch die Moglichkeit, eine Adaption 
des Lastverteilungsverf ahrens an sich andernde 
Randbedingungen durchzuf uhren, indem die oben angegebenen 
25 Konstanten (q v , p cl , p C 2, q c ir <Zc2, threshold*,, thresholds c q i, 
c q2 , c q3 ) im Betrieb zumindest teilweise angepafit werden. 

Erf indungsgemali wird aulierdem ein Multiprozessorsystem, 
insbesondere eines Kommunikationssys terns , mit mehreren 
30 Prozessoren MPi (mit i=l , 2 n) zur Ausfuhrung anfallender 
Aufgaben unter Realzeitbedingungen, vorgeschlagen, wobei: 
jeder Prozessor MPi Mittel aufweist, urn seinen 
tatsachlichen Lastzustand Yi zu bestimmen, - 
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gegebenenf alls direkt hieraus einen mehrwertigen 
Laststatus (load state) MPlsi zu bestimmen - und in 
Abhangigkeit von zuvor mitgeteilten Verteilungsquoten 
qi (alt) (mit qi=an andere Prozessoren MP k nach 
Moglichkeit zu verteilender Lastanteil) und dem 
typischerweise verteilbaren Anteil V einer typischen 
Aufgabe seine angebotene Last Ai zu schatzen, die zu 
einem mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbii ftihrt, 

jeder Prozessor MP ± Mittel aufweist, um seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (rait k=l , 2 , . . . i-1 , i+ 1 , . . . n ) mittelbar 
oder unmittelbar mitzuteilen, 

jeder Prozessor MPi Mittel aufweist, um seine 
Lastverteilungswahrscheinlichkeiten pij (mit 
j=l,2,....n) in Abhangigkeit von den 

Lastindikationswerten MPbi k dieser anderen Prozessoren 
MP k zu bestimmen, 

jeder Prozessor MPi Mittel aufweist, um seine 
Verteilquote (neu) in Abhangigkeit von seinem 
tatsachlichen Lastzustand Yi zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, um anhand seiner 
Quote q A und seiner Lastverteilungsf aktoren seine 
verteilbare Last an andere Prozessoren MP k zu verteilen, 
wenn seine Verteilquote qi (neu) einen vorgegebenen Wert 
q v uberschreitet . 

Erf indungsgemafi kann das oben vorgeschlagene 
Multiprozessorsystem so ausgestaltet werden, daft jeweils 
eines der oben genannten Verfahren implementiert ist, wobei 
die Implementierung durch eine entsprechende Programmierung 
der Prozessoren erfolgt. 
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Es ist noch darauf hinzuweisen, dafi der Index (alt) sich 
jeweils auf die Werte des vorhergehenden Iterationsschrittes , 
beziehungsweise der Index (neu) sich auf den jetzt aktuellen 
Iterationsschritt beziehen. 

5 

Der besondere Vorteil des erf indungsgemafien Verfahrens und 
des entsprechenden Multiprozessorsystems liegt darin, daft es 
im Gegensatz zum eingangs genannten Stand der Technik einen 
"weichen" Einstieg in die Lastverteilung gewahrleistet und 
10 dadurch anpassungsf ahiger , weniger anfallig gegen 

Schief lastsituationen ist und Schwingungs zustande besser 
vermieden werden. Im Endeffekt wird hierdurch die 
Wahrscheinlichkeit fur die Abwehr von Aufgaben, insbesondere 
Vermittlungsauf gaben reduziert. 

15 

Weitere Ausgestaltungen, zusatzliche Merkmale und Vorteile 
der Erfindung ergeben sich aus der nachf olgenden Beschreibung 
eines bevorzugten Ausf uhrungsbeispiels unter Bezugnahme auf 
die Zeichnungen . 

20 

Es versteht sich, daft die vorstehend genannten und 
nachstehend noch zu erlauternden Merkmale der Erfindung nicht 
nur in der jeweils angegebenen Kombination, sondern auch in 
anderen Kombinationen oder in Alleinstellung verwendbar sind, 
25 ohne den Rahmen der Erfindung zu verlassen. 

Die Figuren zeigen im einzelnen: 

Figur 1: Flulibild des anfallenden und verteilten 
30 Lastangebotes 

Figur 2a: Grafische Darstellung der Entscheidungen zur 

Aktualisierung der Lastverteilungsf aktoren p Aj 
Figur 2b: Grafische Darstellung der Entscheidungen zur 
Aktualisierung der Verteilungsquoten qi 
35 Figur 3: Formel zur linearen Interpolation von q 4 
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Das er f indungsgemafte Verfahren (Normal Load Balancing=NLB) 
ist ein quotiertes Load Balancing Verfahren, das auf einem 
Multiprozessorsys tern, insbesondere in einer 
Vermittlungss telle eines Kommunikat ions systems, zur 
5 Verteilung anfallender Arbeitslasten auf die jeweils anderen 
Prozessoren ablauft und sicherstellen soil, daft andauernde 
Schief lastsituationen bewaltigt und moglichst alle 
angef orderten Aufgaben in moglichst kurzer Zeit abgearbeitet 
werden. Nachfolgend soil eine besonders vorteilhafte 
10 Ausf uhrungsf orm dieses Verfahrens beschrieben werden. 

Auf jedem Prozessor MPi mit i=l,2,...,ri wird eine 
Verteilquote qi gefuhrt, die den Anteil V der verteilbaren 
Last, der tatsachlich verteilt werden soil, festsetzt. Eine 

15 solche Quote ermoglicht einen weicheren Ein- beziehungsweise 
Ausstieg aus der Lastverteilung an andere Prozessoren. Auf 
diese Weise werden Schwingzustande und Lastschwankungen 
vermieden. Dies kann beispielsweise der Fall sein, wenn ein 
Prozessor so viel Last an einen anderen verteilt, daft dieser 

20 wiederum uberlastet wird. 

Die Verteilquote qi wird jedes Zeitintervall CI neu bestimmt. 
Die einzige Information, die jedes CI von den anderen 
Prozessoren MP k mit k=l , . . . i-1 , i+1 , . . . n benotigt wird, sind 

25 Lastwertindikatoren {Balancing Indikatoren} MPbii. Diese 

Lastwertindikatoren sind - ahnlich wie die Laststatuswerte 
(Load States) von der Load Control - Lastzustande mit den 
Wert igkei ten NORMAL, HIGH oder OVERLOAD. Wahrend der Load 
State anhand der tatsachlich bearbeiteten Last Yi des 

30 Prozessors MPi bestimmt wird, wird der Lastwertindikatoren 
MPbii aus einer Schatzung der aktuell angebotenen Last A t 
ermittelt. Die geschatzte angebotene Last Ai kann durch 
Lastverteilung erheblich mehr als die tatsachlich bearbeitete 
Last Yi sein und stellt die maftgebliche Grofte dar, die (in 

35 Form des Lastwertindikators MPbii) ein Prozessor MPi den 
anderen MP k als Information zur Verfugung stellt. 
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Zusatzlich zur Verteilungsquote qi werden auf jedem MPi 
Wahrscheinlichkeiten Pij gefiihrt, welche die 

Wahrscheinlichkeit angeben, dali bei Lastverteilung Last vom 
i-ten Prozessor MPi auf den j-ten Prozessor MP^ ubertragen 
5 wird. Die Wahrscheinlichkeiten werden so bestimmt, dafi, wenn 
etwa der j-te Prozessor MPj schon viel Last zu bearbeiten hat 
und deshalb nur wenig zusatzliche Last aufnehmen kann, das 
zugehorige kleiner ist als das P ik fur einen freien MP k . 

10 In Figur 1 wird das Zusammenspiel der p i3 und q A 

veranschaulicht . Die doppelte Indizierung "ij" der Kenngroften 
besagt, daft jeweils der Prozessor mit der Nummer des ersten 
Index (hier i) jeweils eine "Spalte" von n Werten mit dem 
zweiten Index (hier j) kennt. Es ist zu bemerken, daft jeder 

15 Prozessor nur seine relevanten Werte (also seine Spalte) 
kennt, wobei insgesamt im System eine quadrat ische Matrix 
bekannt ist So ist zum Beispiel p ±j die Wahrscheinlichkeit, 
daft Last vom i-ten MP auf den j-ten MP verteilt wird, wenn 
der i-te MP zu viel Last hat. 

20 

In der Figur 1 ist aufterdem die tatsachlich bearbeitete Last 
des j-ten Prozessors MPj mit Y-j, die geschatzte angebotene 
Last mit Aj und der Teil des Lastangebotes, der verlagert 
werden kann, mit a bezeichnet. Die gezeigte Lastsituation ist 

25 Oberlast (OVERLOAD) auf MPi, auf den MP k mit k-2,3,4 ist noch 
Raum fur zusatzliche Aufgaben. Es wird gezeigt, wie der MPi 
einen ersten Teil der Last selbst bearbeitet und den Rest a 
verteilt. Von diesem Rest a geht der groBte Anteil an MP 3 / 
der kleinste Anteil an MP 4 , der in diesem Beispiel also schon 

30 viel eigene Last zu bearbeiten hat. Nicht eingezeichnet sind 
die Las ten, welche die MP k aufcer von MPi noch erhalten. Die 
Breite der Fliefcbalken stellen ein Mafi fur die Grofle der Last 
dar . 

35 Gemafc dem Erf indungsgedanken ergibt sich also der folgende 
Algorithmus: Meldet der j-te Prozessor MP-j den Balancing 
Indikator NORMAL, wird auf dem jeweils betrachteten MPi das 
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Pi-, vergrofiert. Es steigt also die Wahrscheinlichkeit , daii 
dieser Prozessor MPi Last an MPj abgibt, wenn er Last 
verteilen muft . Wird der Balancing Indikator HIGH gemeldet, so 
wird das p^ verkleinert. Wird der Balancing Indikator 
5 OVERLOAD gemeldet, wird p^ auf Null gesetzt, so daft keine 
Last an den j-ten Prozessor MPj abgegeben wird. Die 
Verteilungsquote qi wird anschliefrend an die Bestimmung der 
Pij verandert . Konnten viele der p i:) vergroJiert werden, so ist 
die Summe der pij iiber j grofier 1 und offenbar noch Platz auf 
10 den anderen Prozessoren MP k . Die Verteilungsquote qi kann 
also nach den Erf ordernissen des (betrachteten) Prozessors 
verandert werden. 

Bei hoher Last Yi auf dem betrachteten Prozessor MPi wird die 
Verteilungsquote q± vergrofiert, bei niedriger Last wird qi 
15 verkleinert. Sind viele der p ±j verringert worden, dann ist 

die Summe der pij uber j kleiner 1 und die Verteilungsquote qi 
muJ3 verringert werden. 

Eine Veranschaulichung dieser Entscheidungen ist in den 
20 Figuren 2a und 2b dargestellt. Die Entscheidungsdiagramme 

zeigen die Aktualisierungsalgori thiuen fur pij (Figur 2a) und 
fur Verteilungsquote qi (Figur 2b) , die jedes Zeitintervall 
CI fur den i-ten Prozessor MPi durchgefuhrt werden. 

25 Bei dem er f indungsgemaJien Lastverteilungsver f ahren (NLB) 

werden einige Parameter (Konstanten) benotigt, deren Wahl das 
Verhalten in bestimmten Lastsituationen stark beeinflussen 
kann. Es ergibt sich in den meisten Fallen ein Konflikt 
zwischen einem Lastverteilungsverf ahren, das schnell auf 

30 Lastanderungen reagieren kann, und einem stabilen 

Lastverteilungsverf ahren, das nicht zu Schwingungen und zum 
weiterverteilen von Aufgaben neigt. "Weiterverteilen" 
bedeutet hier das gleichzeitige Verteilen von eigener Last 
und das Bearbeiten von fremder Last auf einem Prozessor. 

35 

Folgende Parameterveranderungen bewirken ein schneller 
reagierendes NLB: 
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Das starkere Verandern von qi mit : 0,15<c q i, 0, Kc q 2 
Das starkere Verandern der pij mit: 0,25<p ci , 0,25<p C 2 
Das spatere Setzen der Lastindikationswerte MPbii mit: 
threshold H >0, 7 {d.h. erst bei hoherer Last 1 HIGH 1 an die 
5 anderen Prozesssoren MPk melden) 

Detailliert verlauft das bevorzugte Verfahren bei einem 
Multiprozessor-Kommunikationsrechner also wie folgt: 

10 Als Dauer des Zeitintervalls (Kontrollintervall ) CI des 

Zeitrasters, mit dem das Verfahren iterativ ablauft, wird bei 
den derzeit bekannten Multiprozessorsystemen der 
Vermittlungstechnik bevorzugt 1 bis 2 Sekunden gewahlt. Es 
ist selbstverstandlich, daft mit steigender Prozessorleistung 

15 das Zeitintervall gekurzt werden kann. 

Jedes Kontrollintervall CI werden die Grofien q ± , p i: j , MPlsi 
und MPbij aktualisiert . 

20 Die tatsachlich bearbeitete Last Y A eines Prozessors MPi wird 
als Prozessorlauf zeitgroBe, gemessen in Erlang, ermittelt. 

Die geschatzte angebotene Last A-j eines Prozessors MPi wird 
aus der Verteilquote qi des aktuellen Kontrollintervalls CI 
25 und dem geschatzten verteilbaren Anteil einer 

durchschnittlichen Aufgabe, zum Beispiel der Abarbeitung 
eines Calls, ermittelt. 

Es gilt: 

30 Die Anzahl der Prozessoren MPi im Multiprozessorsystem ist n. 

Ai := Yi/d-qiV), wobei V der verteilbare Anteil eines Calls 
ist. 

35 MPlSi: Load State des i-ten MPs , kann die Werte NORMAL, HIGH, 
OVERLOAD oder EXTREME annehmen. Zur Berechnung des Load 
States wird die tatsachlich bearbeitete Last Yi herangezogen . 
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Zur Vermeidung von vorschnellen Anderungen des MPlsi werden 
Hysteresen eingefuhrt. Wird etwa der MPls* von NORMAL auf 
HIGH gesetzt, muB Yi > threshold^ + A+ sein, wohingegen, urn 
von HIGH nach NORMAL zu kommen, Yi < threshold N - A- sein 
mufi. Diese Vorgehensweise ist auch als High Water-Low Water 
Methode bekannt. Bei EXTREME mufi aus systemtechnischen 
Grunden der Vermittlungsstelle das Verteilungsverf ahren (Load 
Balancing) fur diesen Prozessor MPi abgeschaltet werden. 

threshold N : Ist die Normallastschwelle - nach 
Berucksichtigung einer Hysterese wird unterhalb dieser der 
MPls als NORMAL gefuhrt, oberhalb als HIGH. 

thresholds Hochlastschwelle - nach Berucksichtigung einer 
Hysterese und einer lastabhangigen zeitlichen Verzogerung 
(Startindikator ) wird unterhalb dieser Schwelle der MPls als 
HIGH gefuhrt, oberhalb als OVERLOAD. 

Der Lastindikationswert (Balancing Indikator) MPbii des i-ten 
Prozessors MPi kann die Werte NORMAL, HIGH oder OVERLOAD 
annehmen. Dieser wird wie der MPlsi berechnet, nur wird hier 
anstelle der tatsachlichen Last Yi die geschatzte angebotene 
Last Ai zugrundegelegt und andere Werte fur A + und A. 
genommen, mit A+ = A- = 0.02. 

Zusatzlich wird ein Overload Level OLi des Prozessors MP d 
bestimmt, der die Werte 0... 6 annehmen kann und als 
Quantifizierung des Uberlastzustandes des Prozessors MP t 
gedacht ist. Ist der OLi>0, werden Calls abgewehrt, je hoher 
der Wert, desto wahrscheinlicher wird ein Call abgewiesen. 

Die Last, die von MP ± nach MP-j verteilt werden soil, wird als 
Wahrscheinlichkeit p Aj ausgedruckt und kann somit Werte 
zwischen 0 und 1 annehmen. 

Die Grofie des Wertes bestimmt sich durch folgende 
Kriterien : 
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Initialisiere mit pij : = (n-1 ) 

Pii:= 0, MPi soli nicht an sich selbst verteilen. 
Falls MPbi j=NORMAL : p i3 — > Pij + 0.25/n, j=l,...,n, 
i* j . Das alte pij kann vergroBert werden, weil auf 
5 dem Prozessor MPj noch Platz ist. 

Falls MPbi}=HIGH: p i3 — > p tj - 0.25/n. Das alte p i3 
muft verkleinert werden, weil MPj voll ausgelastet 
ist. 

Falls MPb i j = OVERLOAD : pij = 0 . Es soil keine Last an 
10 iiberlastete Prozessoren MP n abgeben werden. 

Die neu bestimmten p i3 miissen noch normiert werden: 
Setze p S um = summe(pij) uber j=l,..,n 
und normiere (falls p sum > 0) mit pij — > Pij/Psum 

15 

Anschlieftend wird die Verteilungsquote q 4 mit den folgenden 
Kriterien bestimmt: 

Initialisierungswert : q t = 0 . 1 

Falls der MPlSi = EXTREME : qi = 0.1. Dieser MP ist so 
20 stark iiberlastet, daft ihn auch der Eigenanteil fUr einen 

verteilten Call uberfordern wiirde. Deshalb kein Load 

Balancing, sondern nur Abwehr; das Load Balancing ist 

zudem aus systemtechnischen Grunden der 

Vermittlungsstelle nicht sinnvoll. 
25 - Falls p S um > 1/ kann offenbar mehr Last verteilt werden. 

Dann kann qi nach den Erf ordernissen des MPi bestimmt 

werden, mit: 

1. Falls der OLi > 0, qi auf jeden Fall vergrofiern 
mit: qi — > min {qi + 0.15, 1} 
30 2. Falls Yi > thresholds q± vergrofiern mit: q 4 — > min 

{ qi + 0. 15, 1} 

3. Falls Yi < thresholds qi verkleinern mit: qi — > 
max {qi - 0.10, 0.1} . 

4. Andernfalls, falls threshold N < Yi < threshold H 

35 gilt: 

qi — >min{max{qi+ (0.25/ ( thresholds thresholds ) * (Y — 
threshold N ) -0.1, 0.1}, 1.0} 
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Dies ist die lineare Interpolation zwischen der 
obigen Vergrbiierung urn 0.15 und der obigen 
Verkleinerung tun 0.1. Die Formel ist nochmals in 
besser lesbarer Weise in der Figur 3 dargestellt. 

Falls Psum< 1/ wurde offenbar zuviel Last verteilt und qi 
mufi verkleinert werden mit: qi — > qi * p sum . 

Der Prozessor MPi verteilt Last an andere Prozessoren 
MP k , wenn qi > 0.25 wird. 

Das erf indungsgemalie Verfahren weist somit die folgenden 
Eigenschaf ten und Vorteile auf: 

Ein sehr geringer Informationsoverhead zwischen den am 
Lastverteilungsverf ahren beteiligten Prozessoren. Gegenseitig 
bekannt sind nur wenige, vorzugsweise dreiwertige 
Lastzustande, die nur einmal pro Kontrollintervall 
aktualisiert und verteilt werden. 

Fur jeden Prozessor gibt es eine Quote, die jedes 
Kontrollintervall aktualisiert wird und die den Anteil der 
Last regelt, die voir betrachteten Prozessor an die anderen 
beteiligten Prozessoren verteilt werden soil. 

Fur jeden Prozessor gibt es Einzelregulatoren, welche die zu 
verteilende Last auf die anderen Prozessoren aufteilen. 

Das Verfahren ist nicht nur als "Feuerwehrmaftnahme" 
konzipiert, das erst wirksam wird, wenn ein Prozessor in 
Uberlast gerat und gegebenenf alls Aufgaben (Calls) abgewehrt 
werden, sondern es setzt die Lastverteilung fruher und 
weicher ein. Dadurch konnen Dauerschief lastzustande besser 
und mit weniger abgewiesenen Aufgaben (Calls) verarbeitet 
werden . 
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Im erf indungsgemafien Verfahren werden die Last zustande , die 
an die anderen Prozessoren verteilt werden, konsequent anhand 
der geschatzten angebotenen Last und nicht anhand der 
tatsachlich bearbeiteten Last ermittelt. 

5 

Das Verfahren benotigt kein Load Balancing Flag, das den 
Einstieg in die Lastverteilung regelt. Der Einstieg wird uber 
die Verteilquote qi geregelt . Weiterhin sind durch das Fehlen 
eines Load Balancing Flags gegenseitige Abhangigkeiten 
10 zwischen den Lastzustanden und dem Load Balancing Flag 

eliminiert worden. Dadurch ist eine nachtragliche Anpassung 
des Algorithmus an veranderte Bedingungen leichter moglich. 

Die lastabhangige Veranderung der Einzelregulatoren 
15 (Lastverteilungsfaktoren p Aj ) geschieht in Abhangigkeit von 
der Anzahl n der an der Lastverteilung beteiligten 
Prozessoren. Somit ist das Verfahren unabhangig von der 
Anzahl der beteiligten Prozessoren. 

20 Die lastabhangige Veranderung der Verteilungsquoten und der 

Einzelregulatoren pro Kontrollintervall geschieht so, dafi ein 
zu langsames "Heranschleichen" an den optimalen Wert 
vermieden wird. 

25 Die lastabhangige Veranderung der Einzelregulatoren vermeidet 
ein Verharren der Werte auf die Einstellung der 
vorangegangenen Lastverteilungsperiode wahrend einer Periode 
ohne Lastverteilung. Es wird vielmehr auf eine 
Ausgangsstellung zurUckgeregelt . 

30 

Die aus dem Stand der Technik bekannte Tragheit in der 
Veranderung der Quoten wurde entfernt, urn ein leichteres 
Nachfuhren an die tatsachlich vorliegende Lastsituation zu 
ermoglichen . 



WO 00/43874 



PCT/EP00/00317 



18 

Patentanspruche 

1. Verfahren zur Lastverteilung in einem 

Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kommunikationssys terns, bei 
dem anfallende Aufgaben von mehreren Prozessoren MPi 
(mit 1=1, 2, . . . . , n) unter Realzeitbedingungen 
abgearbeitet werden kbnnen, mit folgenden iterativen und 
sich in Zeitintervallen CI wiederholenden 
Verf ahrensschritten : 

jeder Prozessor MPi ermittelt seinen tatsachlichen 
Lastzustand Yi - bestimmt gegebenenf alls direkt 
hieraus einen mehrwertigen Laststatus (load state) 
MPlSi - und schatzt in Abhangigkeit von zuvor 
mitgeteilten Verteilungsquoten qi (alt) (mit qi=an 
andere Prozessoren MP k nach Moglichkeit zu 
verteilender Lastanteil) und dem typischerweise 
verteilbaren Anteil V einer typischen Aufgabe 
seine angebotene Last A it die zu einem mehrwertigen 
Lastindikationswert (Balancing Indicator) MPbi ± 
fiihrt, 

jeder Prozessor MPi teilt seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l , 2 , . . . i- 1 , i+l , . . . n ) 
mittelbar oder unmittelbar mit, 
jeder Prozessor MPi bestimmt seine 
Lastverteilungswahrscheinlichkeiten p X j (mit 
j=l,2, .-..n) in Abhangigkeit von den 
Lastindikationswerten MPbi k dieser anderen 
Prozessoren MP k , 

jeder Prozessor MP ± bestimmt seine Verteilungsquote 
qi (neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Y L und den Lastverteilungsf aktoren p i3 
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jeder Prozessor MPi verteilt anhand seiner Quote qi 
und seiner Lastverteilungsf aktoren seine 
verteilbare Last an andere Prozessoren MPk wenn 
seine Verteilquote qi (neu) einen vorgegebenen Wert 
q v uberschreitet. 

Verfahren gemafi dem voranstehenden Anspruch 1, dadurch 
gekenn zei chnet , daft die geschatzte angebotene Last Ai 
eines Prozessors MPi nach der Formel Ai : =Yi/ ( 1-qiV) 
errechnet wird. 

Verfahren gemafi einem der voranstehenden Anspriiche, 
dadurch gekennz eichne t , dali der mehrwertige 
Lastindikationswert (balancing indicator) MPbii drei 
diskrete Werte, vorzugsweise NORMAL (=0 bis 0,7), HIGH 
(=0,7 bis 0,85) und OVERLOAD (=0,8 5 bis 1) annehmen 
kann. 

Verfahren gemaft dem voranstehenden Anspruch 3, dadurch 
ge kennzei chnet , dafi der Lastindikationswert (balancing 
indicator) MPbii bezuglich Anderungen einer Hysterese 
unterliegt . 

Verfahren gemali einem der voranstehenden Anspriiche, 
dadurch ge kennz e i chne t , da5 der mehrwertige 
Laststatus (load state) MPlsi vier diskrete Werte, 
vorzugsweise NORMAL (=0 bis 0,7), HIGH (=0,7 bis 0,85), 
OVERLOAD (=0,85 bis 1) und EXTREME (wenn Laststatus 
iiber mehrere CI OVERLOAD) annehmen kann. 

Verfahren gemafl dem voranstehenden Anspruch 3, dadurch 
gekennzeichnet , daii der Laststatus (load state) MPlSi 
bezuglich Anderungen einer Hysterese unterliegt. 
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7. Verfahren gemaB eineiti der voranstehenden Ansprtiche, 
dadurch gekennzeichne t , daB der Wert der 
tatsachlichen Last Yi proportional zur Prozessorlauf zei t 
ist . 

8. Verfahren gemaB einem der voranstehenden Ansprtiche, 
dadurch gekennzeichnet, daB als typischer 
verteilbarer Anteil V einer typischen Aufgabe CallP der 
durchschnittliche oder maximale Anteil ist. 

9. Verfahren gemaB dem voranstehenden Anspruch 8, dadurch 
gekennzeichnet, daB der durchschnittliche oder 
maximale Anteil einer typischen Aufgabe standig als 
gleitender Durchschnitt oder gleitender Maximalwert iiber 
eine vorgegebene Zeitspanne t D ermittelt wird. 

10. Verfahren gemaB dem voranstehenden Anspruch 9, dadurch 
gekennzeichnet, daB fur die vorgegebene Zeitspanne to 
gilt : t D » CI . 

11. Verfahren gemaB einem der voranstehenden Ansprtiche, 
dadurch gekennzeichnet, daB als typische Aufgabe 
eine durchschnittliche oder maximale Aufgabe angenommen 
wird. 

12. Verfahren gemaB dem voranstehenden Anspruch 8, dadurch 
gekennzeichnet, daB die durchschnittliche oder 
maximale Aufgabe standig als gleitender Durchschnitt 
oder gleitender Maximalwert uber eine vorgegebene 
Zeitspanne t D ermittelt wird. 
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13. Verfahren gemafl dem voranstehenden Anspruch 12, dadurch 
gekennzeichnet, daft fur die vorgegebene Zeitspanne tc. 
gilt: t D » CI. 

5 14. Verfahren gemaft einem der voranstehenden Anspriiche, 

dadurch gekennzeichnet, dafi fur den vorgegebenen Wert 
q v der Verteilquote qi, ab dem der Prozessor MPi 
verteilbare Last an andere Prozessoren MP> : verteilt 
gilt: 0,05<q v <0,3, vorzugsweise 0,l<q v <0,25, 
10 vorzugsweise qv=0,2. 

15. Verfahren gemaB einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daB die Berechnung der 
Verteilquote q± die folgenden Kriterien erfullt: 

15 - Pii := 0 

falls MPbij einer mittlere Last entspricht, 
vorzugsweise MPbi j=NORMAL, gilt: 

Pi3 (neu) = pij (alt)+pci/n, fiir j=l,...,n und i*j 
falls MPbij einer hohen Last entspricht, 
20 vorzugsweise MPbij=HIGH gilt: 

Pij (neu) = pij (alt) -Pcz/n, fur j=l,...,n und i*j 
falls MPbij einer tiberlast entspricht, vorzugsweise 
MPbij— OVERLOAD, gilt : 
Pij (neu) = 0 

25 - wobei vorzugsweise die pij (j=i,.., n ) mit cier Summe p S um 

der pij auf 1 normiert wird und 
als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle Pij, ausgenommen pn, 
gleich sind. 



30 



16. Verfahren gemafi dem voranstehenden Anspruch 15, dadurch 
gekennzeichnet, daft fiir die Konstante p c i gilt: 
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0,l<p cl <0,5, vorzugsweise 0,2<p cl <0,3, vorzugsweise 
p cl =0,25. 

17. Verfahren gemafi einem der voranstehenden Anspriiche 15- 

5 16, dadurch gekennzeichnet, daii fur die Konstante p C 2 

gilt: 0 f l<pc2<0,5, vorzugsweise 0,2<p c2 <0,3, vorzugsweise 
Pc2=0, 25. 

18. Verfahren gemaft einem der voranstehenden Anspriiche 15- 
10 17, dadurch gekennz eichnet , dafl der 

Initialisierungswert der p X j beim Beginn der 
Verteilungsprozesse gleich (n-1)" 1 gesetzt wird. 

19. Verfahren gemaB einem der voranstehenden Anspriiche 15- 
15 18, dadurch gekennzeichnet, dali die Berechnung der 

Lastindikationswerte MPbii die folgenden Kriterien 
erfiillt : 

falls MPlsi der hochsten Last entspricht, 

vorzugsweise MPlSi=EXTREME, gilt: 
20 qi(neu)=q c i, 

falls p sum > 1 gilt: 

falls der tatsachliche Lastzustand Y± groBer 
als ein vorgegebener Wert threshold H ist, wird 
qi vergrofiert mit qi-min { qi + c q i , 1 } , 
25 - falls der tatsachliche Lastzustand Yi kieiner 

als ein vorgegebener Wert threshold N ist, wird 
qi verkleinert mit q^max { qi-c q2 , c q3 }, mit 
0<c q 3<q v , vorzugsweise c q3 =0,l, 
andernfalls {threshold N < Yi < threshold H ) 
30 erhalt qi einen Zwischenwert zwischen den 

beiden oben genannten Alternativen, 
vorzugsweise durch lineare Interpolation 

falls psum ^ 1 gilt: qi (neu) =qi (alt ) * p sum . 
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Verfahren gemaft dem voranstehenden Anspruch 19, dadurch 
gekennzeichnet, daft fur die Konstante c qi gilt: 
0, 05<c q i<0, 3, vorzugsweise 0,1< c qi <0,2, vorzugsweise 
c q i=0, 15. 

Verfahren gemaft einem der voranstehenden Anspriiche 19- 

20, dadurch gekennzeichnet, dafi fiir die Konstante c q - 
gilt: 0,05< c q2 <0,2, vorzugsweise c q2 =0,10. 

Verfahren gemaft einem der voranstehenden Anspriiche 19- 

21, dadurch gekennzeichnet, daft fur die Konstante 
threshold N gilt: 0, 6 < threshold N < 0,8, vorzugsweise 
threshold N =0, 7 . 

Verfahren gemaft einem der voranstehenden Anspriiche 19- 

22, dadurch gekennzeichnet, daft fur die Konstante 
threshold H gilt: 0,7 < threshold H < 0,95, vorzugsweise 
-threshold H =0,85 

Verfahren gemafi einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daft zusatzlich ein 
Oberlastwert OLi der Prozessoren MPi ermittelt wird, der 
ein Mafi fiir die Grofie der Oberlast ist, mit OLi=0,l,...m 
und die Verteilquote qi auf jeden Fall vergrofiert wird, 
falls OLi>0 mit q* (neu) : =min { qi ( alt ) +c qi , 1 } . 

Multiprozessorsystem, insbesondere eines 

Kommunikat ions systems, mit mehreren Prozessoren MPi (mit 
i=l, 2, . . . . , n) zur Ausfiihrung anfal lender Aufgaben unter 
Realzeitbedingungen, wobei : 

jeder Prozessor MPi Mittel aufweist, um seinen 
tatsachlichen Lastzustand Yi zu bestimmen, - 



WO 00/43874 



PCT/EP00/00317 



24 

gegebenenf alls direkt hieraus einen mehrwertigen 
Laststatus (load state) MPlsi zu bestimmen - und in 
Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten qi (alt) (mat qi=an andere 
Prozessoren MP k nach Mbglichkeit zu verteilender 
Lastanteil) und dem typischerweise verteilbaren 
Anteil V einer typischen Aufgabe, seine angebotene 
Last A± zu schatzen, die zu einenv mehrwertigen 
Lastindikationswert (Balancing Indicator) MPbii 
fiihrt, 

jeder Prozessor MPi Mittel aufweist, urn seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l, 2, . . . i-1, i+1, . . .n) 
mittelbar oder unmittelbar mitzuteilen, 
jeder Prozessor MP± Mittel aufweist, um seine 
Lastverteilungswahrscheinlichkeiten p ±j (mit 
j=l,2,....n) in Abhangigkeit von den 
Lastindikationswerten MPbi k dieser anderen 
Prozessoren MP k zu bestimmen, 

jeder Prozessor MPi Mittel aufweist, um seine 
Verteilquote q A (neu) in Abhangigkeit von seinem 
tatsachlichen Lastzustand Yi zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, um anhand 
seiner Quote q± und seiner Lastverteilungsf aktoren 
Pij seine verteilbare Last an andere Prozessoren MP k 
zu verteilen, wenn seine Verteilquote qi (neu) einen 
vorgegebenen Wert q v uberschreitet . 



26. Multiprozessorsystem gemafi Anspruch 25, dadurch 
gekennzei chnet , daft eines der Verfahren gemafi einem der 
Anspriiche 1-24 implementiert ist. 



WO 00/43874 



PCT/E POO/00317 



2/3 



Fig. 2 







NORMAL 








MPbi : 



HIGH 







OVERLOAD 







Pij erhohen p y verringern setze p i} - 0 



j=i / 



V 



<1 



*1 



y 



/ 



\ 



q ; verringern 



> thresholds 



> threshold h 



qj verringern qi (neu) s qi (alt) q ; vergrbBern 



WO 00/43874 



PCT/EP00/00317 



3/3 



o 
o 



o 



o 
^= 



o 



+ 
cr" 



x: 

CO 

S 



t 



INTERNATIONAL SEARCH REPORT 



national AppilcaUon No 

PCT/EP 00/00317 



A. CLASSIFICATION OF SUBJECT MATTER 

IPC 7 G06F9/46 



According to International Patent Classification (IPC) or to both national classification and IPC 



B. FIELDS SEARCHED 



Minimum documentation searched (classification system followed by classification symbols) 

IPC 7 G06F 



Documentation searched other than minimum documentation to the extent that such documents are included in the fields searched 



Electronic data base consulted during the international search (name of data base and, where practical, search terms used) 



C. DOCUMENTS CONSIDERED TO BE RELEVANT 



Category * Citation of document, with indication, where appropriate, of the relevant passages 



Relevant to claim No. 



EVANS D J ET AL: "DYNAMIC LOAD BALANCING 
USING TASK-TRANSFER PROBABILITIES" 
PARALLEL COMPUTING, 
vol. 19, no. 8, 

1 August 1993 (1993-08-01), pages 897-916, 
XP000385007 

page 900, paragraph 3.1 -page 902 
page 902, paragraph 3.2 -page 903 

EP 0 715 257 A (BULL SA) 
5 June 1996 (1996-06-05) 
the whole document 



1,25 



1,25 



□ 



Further documents are listed in the continuation of box C. 



ID 



Patent family members are listed in annex. 



• Special categories of cited documents : 

"A" document defining the genera! state of the art which is not 

considered to be of particular relevance 
*E* earlier document but published on or after the international 

filing date 

V document which may throw doubts on priority claim(s) or 
which is cited to establish the publication date of another 
citation or other special reason (as specified) 

*0* document referring to an oral dtsctoeure. use, exhibition or 
other means 

"P" document pubfished prior to the international filing date but 
later than the priority date claimed 



T* later document published after the Internationa] filing date 
or priority date and not in conflict with the application but 
cited to understand the principle or theory underlying the 
invention 

*X" document of particular relevance: the claimed invention 
cannot be considered novel or cannot be considered to 
involve an inventive step when the document is taken atone 

*Y* document of particular relevance; the claimed invention 

cannot be considered to involve an inventive step when the 
document is combined with one or mors other such docu- 
ments, such combination being obvious to a person skilled 
in the art. 

*&" document member of the same patent family 



Date of the actual completion of the internal tonal search 



26 May 2000 



Date of mailing of the international search report 



05/06/2000 



Name and mailing address of the ISA 

European Patent Office. P.B. 581 8 Patentlaan 2 
NL-2280HV Rijswijk 
Tel. (+31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31 -70) 34O-<301 6 



Authorized officer 



Michel, T 



Form PCT7ISA/210 (MCond *h*6t) <Juty 1992) 



INTERNATIONAL SEARCH REPORT 



Information on patent family member* 



li latlonal Application No 

PCT/EP 00/00317 



Patent document 
cited in search report 



Publication 
date 



Patent family 
members) 



Publication 
date 



EP 0715257 



05-06-1996 



FR 
W0 
JP 
US 



2727540 A 

9617297 A 

10507024 T 

5993038 A 



31-05-1996 

06- 06-1996 

07- 07-1998 
30-11-1999 



Form PCT7ISA/510 (patent fa/riBy annex) (Juty 1992) 



INTERNATIONALER RECHERCHENBERICHT 



I. .lattonates Aktonzolchen 

PCT/EP 00/00317 



A. KLASSIF12JERUNG DES ANMELDUNGSGEGENST ANDES 

IPK 7 G06F9/46 



Nach dor International en Patent kJassrfikation (IPK) oder nach der nationalen Klassrfikation und def IPK 



B. RECHERCHIERTE GEBIETE 



Recherchierter Mlndestprufstoff (Klassjfikationssystem und Klasarfikationasymbolo ) 

IPK 7 G06F 



Recherchierte aber nicht zum Mindestpriifstoff gehorende Veroffentlichungen. sowert diese unter die recherchierten Gebiste fallen 



Wahrend dor intsmattonaten Recherche konsuttierte eiektrontsche Datenbank (Name der Dal en bank und evtl. verwendete Sochbegriffe) 



C. ALS WESEWTLtCH ANGESEHEKE UMTERLAGEN 



Kategohe* Bezeichnung der Veroffentlichung, aowoit erforderiich unter Angabe der in Betracht kommenden Tefle 



Betr. Anapruch Nr. 



EVANS D J ET AL: "DYNAMIC LOAD BALANCING 
USING TASK-TRANSFER PROBABILITIES" 
PARALLEL COMPUTING, 
Bd. 19, Nr. 8, 

1. August 1993 (1993-08-01), Seiten 
897-916, XP000385007 
Seite 900, Absatz 3.1 -Seite 902 
Seite 902, Absatz 3.2 -Seite 903 

EP 0 715 257 A (BULL SA) 
5. Juni 1996 (1996-06-05) 
das ganze Dokument 



1,25 



1,25 



□ 



Waiters Veroffentlichungen atnd der Fortsetzung von Feld C zu 
entnehmen 



ID 



Siehe An hang Palentfamiiie 



* Beeondere Kategorien von angegebenen Veroffentlichungen 

"A" Veroffentlichung. die den aiigemeinen Stand der Technik definiert, 
aber nicht ale oesonders bedeutsam an ruse hen ist 

*E' atteres Dokument. daa jedoch erst am oder nach dam internationaten 
Anmeldedatum veraffentlicbt worden ist 

*L* Veroffentlichung. die geetgnet ist, einen Pnorttataartapruch zweitelnaft er- 
echeinsn zu tasaen, oder durch die das Verb ftentlichungada turn einer 
anderen im Recherchenbericht genannten Veroffentlichung belegt werden 
sod Oder die a us einem anderen besonderen Grund angegeben ist (wie 
auagefuhrt) 

•O' Veroffentlichung. die sich auf eine mundJiche Offenbarung, 

eine Benutzung, eine Aussteltung oder andere MaOnahmen bezieht 

•p* V era ffentilc hung, die vor dam irttematonaien Anmeldedatum, aber nach 
dem beanspruchten Priohtatsdatum veroffentlicht worden ist 



T" S patera Veroffentlichung. die nach dem international en Arurneldedatum 
oder dem Priohtatsdatum veroffentlicht worden ist und mrt der 
AnmekJung nicht koUkfiert. sondem nur zum Verstandnis dee der 
Erflndung zugrundeliegenden Prtnzipe oder der thr zugrundeliegenden 
Theorie angegeben ist 

"X" VeroffentJichung von beeortderer Bedeutung; die beanspruchte Erfindung 
kann allein auf grund dieser Veroffentlichung nicht als neu oder auf 
erfinderiacher f atigkeit beruhend betrachtet werden 

*V Veroffentlichung von beeortderer Bedeutung; die beanspruchte Erflndung 
kann nicht ate auf erfinderiscner Tatigkert beruhend betrachtet 
werden, wenn die Veroffentlichung mit einer oder mehreren anderen 
Veroffentlichungen die der Kategorie in Verbindung gebracht wird und 
diese Verbindung fur einen Fachmann naheliegend ist 

■&• Veroffentlichung, die Mitgiled derseiben Patentfamilie ist 



Datum des Abschlusses der international en Recherche 



26. Mai 2000 



Abeendedatum des internal iona ten Recherchenberichts 



05/06/2000 



Name und Postanschrift der International en Reeherchenbehorde 
Europaisches Patentamt, PB. 5818 Patentlaan 2 
NL-2280HV Rjjswijk 
Tel. (+31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 340-3016 



Bevollmachtigter Bediensteter 

Michel, T 



Formblsn PCT/1SA/210 (Btstt 2)<JuB 1962) 



INTERNATIONA 



RECHER CHENBERICHT 



Angaben zu Verofferrtlldiungen, die zur aelben Patontfamilie gehoren 



It .ationales Aktenzeichen 

PCT/EP 00/00317 



lm Recherchenbericht 
angefuhrtes Paten tdokumsnt 



Datum der 
VerOffentiichung 



Mitglied(er) der 
Paten tfamilio 



Datum der 
Vetdffentlicnung 



EP 0715257 



05-06-1996 



FR 
WO 
JP 
US 



2727540 A 
9617297 A 
10507024 T 
5993038 A 



31-05-1996 

06- 06-1996 

07- 07-1998 
30-11-1999 



Forniblatt PCT/1SA/2lO(Anhang PetenrtamHte)<Jull 19*2) 



This Page is Inserted by EFW Indexing and Scanning 
Operations and is not part of the Official Record 



Defective images within this document are accurate representations of the original 
documents submitted by the applicant. 



Defects in the images include but are not limited to the items checked: 

□ BLACK BORDERS 

□ IMAGE CUT OFF AT TOP, BOTTOM OR SIDES 



FADED TEXT OR DRAWING 

□ BLURRED OR ILLEGIBLE TEXT OR DRAWING 

□ SKEWED/SLANTED IMAGES 

□ COLOR OR BLACK AND WHITE PHOTOGRAPHS 

□ GRAY SCALE DOCUMENTS 

□ LINES OR MARKS ON ORIGINAL DOCUMENT 

□ REFERENCE(S) OR EXHIBIT(S) SUBMITTED ARE POOR QUALITY 

□ OTHER: 

IMAGES ARE BEST AVAILABLE COPY. 
As rescanning these documents will not correct the image 
problems checked, please do not report these problems to 
the IFW Image Problem Mailbox. 



BEST AVAILABLE IMAGES 




This Page Blank (uspto) 



